"""
1确认完url和允许的域名以后 直接在parse方法里面写提取数据的业务逻辑
2在提取数据过程中  scrapy框架会根据你想要提取数据的方法 返回不同的数据对象
        通过xpath提取数据 用get方法 没有匹配到数据返回null
3scrapy 项目的运行  通过命令   scrapy crawl 爬虫文件名  （不用加py）
4scrapy爬取的过程中 需要在settings.py 里面设置最基本的请求头  和是否遵循机器人协议
    1USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
    2ROBOTSTXT_OBEY = False
5保存数据时 需要在爬虫文件里面进行数据抛出item对象   return  yield
6第五点需要抛出的对象从哪里来呢   从items文件里面来
7.需要保存(传递)几个字段 就需要到items.py里面设置几个字段   才能进行传递数据
8重点  item的键必须是items.py声明的字段
9重点  # item载体 对象装满了数据 数据的传递 直接传递到pipelines.py里面的
            def process_item(self, item, spider)方法里面的 item形参
10.scrapy框架运行起来是有调试信息的  判断数据是否流通可以加上 打印字符串
11.管道是需要手动开启的  settings.py 开启管道 取消ITEM_PIPELINES的注释
12 在运行scrapy框架过程中 不需要看到调试信息  scrapy crawl 爬虫名 --nolog

13 return 和yiedl的区别    共同特点是 抛出返回值
13.1：return>>结束了 本地调用的方法不会再执行     >>>>>
13.2：yield>>再次来到上面的代码进行执行  直到不再被调用 循环结束



小tips
正则提取   构建正则表达式 可通过网页的标签 右键  edit as element 复制正则表达式 （不能是换行的）

"""














